นอกจากการรับราชการในตำแหน่งทั่วไปแล้ว เจ้าพระยาเทเวศรฯ ยังมีหน้าที่ในการควบคุมกรมที่เกี่ยวกับการแสดงต่าง ๆ ถึง ๕ ได้แก่ กรมมหรสพ กรมโขน กรมพิณพาทย์ กรมรำโคม และกรมหุ่น และด้วยในสมัยนั้นมีต่างชาติเข้ามาเจริญสัมพันธไมตรีกับประเทศไทยอยู่เป็นประจำ จึงมีหน้าที่ในการจัดการแสดงสำหรับต้อนรับพระราชอาคันตุกะ ในการนี้ท่านจึงได้ทูลเชิญสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ร่วมเป็นที่ปรึกษาสำหรับจัดการแสดงต้อนรับพระราชอาคันตุกะ โดยพยายามคิดการแสดงใหม่ขึ้น มีการบรรเลงคอนเสิร์ต การแสดงละครดึกดำบรรพ์ โดยเฉพาะละครดึกดำบรรพ์นอกจากจะเล่นสำหรับต้อนรับพระราชอาคันตุกะแล้ว ท่านยังได้ลงทุนทำเป็นกิจการ เปิดการแสดงภายในวังบ้านหม้อของท่านเอง กิจการของท่านดำเนินไปด้วยดีเป็นระยะเวลา ๑๐ ปี ในภายหลังท่านเกิดอาการป่วยจนต้องออกจากราชการ กิจการละครดึกดำบรรพ์และการแสดงอื่น ๆ ที่ท่านดูแลจึงยกเลิกไปหมด

ด้วยราชสกุลของเจ้าพระยาเทเวศร์ฯ ท่านสืบเชื้อสายมาจากพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย (ทวด) พระเจ้าบรมวงศ์เธอ กรมพระพิทักษ์เทเวศร์ (ปู่) และพระวรวงศ์เธอ พระองค์เจ้าสิงหนาทราชดุรงค์ฤทธิ์ (พ่อ) ทุกพระองค์ล้วนมีความสนใจในการแสดงละครฟ้อนรำเป็นอย่างมาก มีการจัดตั้งคณะละครขึ้นเล่นและเป็นมรดกตกทอดสืบมาถึงเจ้าพระยาเทเวศร์ฯ ตลอดจนเจ้าจอมมารดาและหม่อม (ภรรยา) ในราชสกุลต่างก็มีความสามารถในการละครฟ้อนรำและดนตรีขับร้อง จึงทำให้ราชสกุลกุญชรเป็นราชสกุลที่มีความสามารถในการละครฟ้อนรำและดนตรีขับร้องเป็นอย่างยิ่ง

ด้วยเจ้าพระยาเทเวศร์ฯ มีคณะละครที่ตกทอดมาจากบรรพบุรุษ และได้รับราชการในการควบคุมกรมมหรสพหลวง จึงทำให้คณะละครและกรมมหรสพซึ่งท่านเป็นผู้ควบคุมอยู่มีความเจริญรุ่งเรืองมาก มีนักดนตรีนักร้องและนักแสดงที่มีชื่อเสียงหลายคน นักดนตรี เช่น พระประดิษฐไพเราะ (ตาด) หลวงเสนาะดุริยางค์ (ทองดี) หลวงบำรุงจิตรเจริญ (ธูป สาตนะวิลัย) พระยาเสนาะดุริยางค์ (แช่ม สุนทรวาทิน) ฯลฯ นักร้อง เช่น หม่อมเจริญ หม่อมมาลัย หม่อมจันทร์ แม่แป้น วัชโรบล แม่แจ๋ว แม่ชม แม่ชื่น ฯลฯ นักแสดง เช่น หม่อมเข็ม กุญชร ณ อยุธยา คุณหญิงนัฏกานุรักษ์ (เทศ สุวรรณภารต) หม่อมต่วน (ศุภลักษณ์ ภัทรนาวิก) ฯลฯ (วีรศิลป์ ห่วงประเสริฐ, ๒๕๕๗: ๓๑ - ๓๒)[6]